Mix-up training approaches have proven to be effective in improving the generalization ability of Deep Neural Networks. Over the years, the research community expands mix-up methods into two directions, with extensive efforts to improve saliency-guided procedures but minimal focus on the arbitrary path, leaving the randomization domain unexplored. In this paper, inspired by the superior qualities of each direction over one another, we introduce a novel method that lies at the junction of the two routes. By combining the best elements of randomness and saliency utilization, our method balances speed, simplicity, and accuracy. We name our method R-Mix following the concept of "Random Mix-up". We demonstrate its effectiveness in generalization, weakly supervised object localization, calibration, and robustness to adversarial attacks. Finally, in order to address the question of whether there exists a better decision protocol, we train a Reinforcement Learning agent that decides the mix-up policies based on the classifier's performance, reducing dependency on human-designed objectives and hyperparameter tuning. Extensive experiments further show that the agent is capable of performing at the cutting-edge level, laying the foundation for a fully automatic mix-up. Our code is released at [https://github.com/minhlong94/Random-Mixup].

We study a novel and important communication pattern in large-scale model-parallel deep learning (DL), which we call cross-mesh resharding. This pattern emerges when the two paradigms of model parallelism - intra-operator and inter-operator parallelism - are combined to support large models on large clusters. In cross-mesh resharding, a sharded tensor needs to be sent from a source device mesh to a destination device mesh, on which the tensor may be distributed with the same or different layouts. We formalize this as a many-to-many multicast communication problem, and show that existing approaches either are sub-optimal or do not generalize to different network topologies or tensor layouts, which result from different model architectures and parallelism strategies. We then propose two contributions to address cross-mesh resharding: an efficient broadcast-based communication system, and an "overlapping-friendly" pipeline schedule. On microbenchmarks, our overall system outperforms existing ones by up to 10x across various tensor and mesh layouts. On end-to-end training of two large models, GPT-3 and U-Transformer, we improve throughput by 10% and 50%, respectively.

通过将元学习纳入基于区域的检测框架中，很少有射击对象检测经过广泛的研究。尽管取得了成功，但所述范式仍然受到几个因素的限制，例如（i）新型类别的低质量区域建议以及（ii）不同类别之间的类间相关性的过失。这种限制阻碍了基础知识的概括，以检测新型级别对象。在这项工作中，我们设计了元数据，（i）是第一个图像级的少量检测器，（ii）引入了一种新颖的类间相关元学习策略，以捕获和利用不同类别之间的相关性的相关性稳健而准确的几个射击对象检测。 meta-detr完全在图像级别工作，没有任何区域建议，这规避了普遍的几杆检测框架中不准确的建议的约束。此外，引入的相关元学习使元数据能够同时参加单个进料中的多个支持类别，从而可以捕获不同类别之间的类间相关性，从而大大降低了相似类别的错误分类并增强知识概括性参加新颖的课程。对多个射击对象检测基准进行的实验表明，所提出的元元删除优于大幅度的最先进方法。实施代码可在https://github.com/zhanggongjie/meta-detr上获得。

最近提出的检测变压器（DETR）已建立了一个完全端到端的范式以进行对象检测。但是，DETR遭受慢训练的融合，这阻碍了其对各种检测任务的适用性。我们观察到，由于对象查询和编码图像特征之间的语义不一致，DETR的缓慢收敛在很大程度上归因于将对象查询与相关区域匹配的困难。通过此观察，我们设计了与DETR ++（SAM-DETR ++）设计的语义对齐匹配，以加速DETR的收敛并改善检测性能。 SAM-DETR ++的核心是一个插件模块，该模块将对象查询和编码图像功能投射到相同的功能嵌入空间中，在该空间中，每个对象查询都可以轻松地与具有相似语义的相关区域匹配。此外，SAM-DETR ++搜索了多个代表性关键点，并利用其功能以具有增强的表示能力的语义对齐匹配。此外，SAM-DETR ++可以根据设计的语义对准匹配，以粗到5的方式有效地融合多尺度特征。广泛的实验表明，所提出的SAM-DETR ++实现了优越的收敛速度和竞争性检测准确性。此外，作为一种插件方法，SAM-DETR ++可以以更好的性能补充现有的DITR收敛解决方案，仅使用12个训练时代获得44.8％的AP和49.1％的AP，并使用Resnet-50上的CoCo Val2017上的50个训练时代获得50个训练时期。代码可在https://github.com/zhanggongjie/sam-detr上找到。

我们介绍了软件Robustar的初步发布，该版本旨在通过数据驱动的视角提高视觉分类机器学习模型的鲁棒性。基于最近的理解，即缺乏机器学习模型的鲁棒性是该模型学习虚假特征的趋势，我们旨在通过在训练前从数据中删除数据的杂种特征来从数据角度解决此问题。特别是，我们介绍了一种软件，可以通过允许用户注释图像像素级别的虚假功能来帮助用户更好地为训练图像分类模型准备数据。为了促进这一过程，我们的软件还利用了最近的进步来帮助识别值得关注的潜在图像和像素，并通过新注释的数据继续培训。我们的软件托管在GitHub存储库https://github.com/haohanwang/robustar。

许多最近的神经模型在机器阅读理解中表现出了显着的经验结果，但有时证据表明，有时这些模型利用数据集偏见来预测和无法推广样本外数据。尽管已经提出了许多其他方法来从计算角度（例如新体系结构或培训程序）解决此问题，但我们认为一种使研究人员发现偏见并在较早阶段调整数据或模型的方法将是有益的。因此，我们介绍了MRCLEN，该工具包检测到用户训练完整模型之前是否存在偏见。为了方便引入工具包，我们还提供了MRC中常见偏见的分类。

符号知识图（kgs）是通过昂贵的人众包或特定于域特异性的复杂信息提取管道来构建的。诸如BERT之类的新兴大型语言模型（LMS）已显示出隐式编码的大量知识，可以使用正确设计的提示来查询。但是，与明确的公斤相比，黑盒LMS中的知识通常很难访问或编辑，并且缺乏解释性。在这项工作中，我们旨在从LMS收获符号KG，这是一个由神经LMS的灵活性和可扩展性增强的自动kg构造的新框架。与通常依赖大型人类注释的数据或现有大量KG的先前作品相比，我们的方法仅需要对关系的最小定义作为输入，因此适合于以前无法提取有关丰富新关系的知识。该方法会自动生成多样化的提示，并在给定的LM内执行有效的知识搜索，以进行一致和广泛的输出。与以前的方法相比，使用我们的方法收获的知识要准确得多，如自动和人类评估所示。结果，我们源于多元化的LMS，一个新的KG家族（例如Bertnet和Robertanet），其中包含一套更丰富的常识关系，包括复杂的关系（例如，A对B的能力，但不擅长B”）人类注销的kg（例如概念网）。此外，由此产生的kg也是解释各自的源LMS的工具，从而导致对不同LMS不同知识能力的新见解。

ALPA通过生成统一数据，操作员和管道并行性的执行计划来自动对大型深度学习（DL）模型的模型平行训练。现有的模型并行训练系统要求用户手动创建并行化计划，或者自动从有限的模型并行性配置中生成一个计划。它们不足以在分布式计算设备上扩展复杂的DL模型。 ALPA通过将并行性视为两个层次级别来分配大型DL模型的训练：操作员和操作员并行性。基于它，ALPA构建了一个新的分层空间，用于大规模的模型并行执行计划。 ALPA设计了许多汇编，以在每个并行性级别自动得出有效的并行执行计划。 ALPA实现了有效的运行时，以在分布式计算设备上协调两级并行执行。我们的评估表明，ALPA生成的并行化计划，即使在其设计的型号上，也可以匹配或超过手动模型并联训练系统。与专业系统不同，ALPA还推广到具有异质体系结构和模型的模型，而没有手动设计的计划。 ALPA的源代码可在https://github.com/alpa-projects/alpa上公开获得

机器学习模型的基本挑战是由于杂散的相关性部分地推广到分销（OOD）数据。为了解决这一挑战，我们首先将“ood泛化问题”正式形式化为受限制的优化，称为解剖学限制域泛化（DDG）。我们以有限维参数化和经验逼近的方式将该非普通约束优化放宽到贸易形式。然后，提供了对上述变换偏离原始问题的程度的理论分析。基于转型，我们提出了一种用于联合表示解剖和域泛化的原始双向算法。与基于领域对抗性培训和域标签的传统方法形成鲜明对比，DDG共同学习解剖学的语义和变化编码器，使灵活的操纵和增强训练数据。 DDG旨在学习语义概念的内在表示，这些概念不变于滋扰因素，并遍布不同的域。对流行基准的综合实验表明，DDG可以实现竞争性的ood性能，并在数据中揭示可解释的突出结构。

特定于上下文的贝叶斯网络（即定向的非循环图，DAG）识别变量之间的上下文相关关系，但是由非循环性要求引起的非凸性使得难以在上下文专用估计器之间共享信息（例如，使用图形生成器函数）。因此，用于推断上下文的贝叶斯网络的现有方法使得将数据集分解为副页，限制统计功率和分辨率，并防止使用多维和潜在的上下文。为了克服这一挑战，我们提出了通知的原型DAG（NOTMAD）的优化混合物。 Notmad模型上下文 - 特定于函数的网络作为一个函数的输出，它根据示例上下文而学习混合原型网络。原型网络与特定于上下文网络共同估计，不需要任何先验知识。我们将无循环约束编码为平滑的正则化损耗，其被回到混合功能;通过这种方式，Notmad在上下文的非循环图之间共享信息，使得甚至单个样本分辨率估计贝叶斯网络结构和参数。我们通过分析和实验证明了Notmad和特定于样本的网络推论的效用，包括患者特异性基因表达网络，所述患者特异性基因表达网络，所述患者对应于癌症的形态变异。